摘要:本文研究了新颖的分类器集合技术,用于应用于图像分类的各种深层神经网络的不确定性校准。我们评估了准确性和校准指标,重点介绍了校准误差(ECE)和最大校准误差(MCE)。我们的工作比较了构建简单而高效的分类器合奏的不同方法,包括多数投票和几种基于元模型的方法。我们的评估表明,尽管用于图像分类的最新深层神经网络在标准数据集上具有很高的精度,但它们经常遭受重大校准误差。基本的合奏技术(例如多数投票)提供了适度的改进,而基于元模型的电源始终降低所有体系结构中的ECE和MCE。值得注意的是,我们比较的元模型表现出最大的校准改进,对准确性的影响最小。此外,具有元模型的分类器合奏在校准的情况下优于传统模型集合,同时需要较少的参数。与传统的事后校准方法相比,我们的方法消除了对单独的校准数据集的需求。这些发现强调了我们提出的基于元模型的分类器集合的潜力,作为一种有效的有效方法来证明模型校准,从而有助于更可靠的深度学习系统。
主要关键词